Delta: Scalable Data Dissemination under Capacity Constraints

Dans des systèmes d’abonnements basés sur le contenu, les utilisateurs expriment leurs intérêts par des requêtes sur les flux de publications. Le passage à l’échelle des systèmes d’abonnements pose de nombreux problèmes de performance: les utilisateurs sont intéressés par la fraîcheur des données, c’est à dire, obtenir les résultats de leurs abonnements le plus vite possible, tandis que les fournisseurs du système sont surtout intéressés par le passage à l’échelle, c’est à dire, être capable de répondre à de grands nombres d’utilisateurs tout en utilisant peu de ressources système. Nous décrivons une nouvelle approche de dissémination de données dans un système d’abonnements, en présence de contraintes sur les ressources CPU et réseau disponibles; cette approche est mise en oeuvre dans le cadre de notre plateforme Delta. Le passage à l’échelle est obtenu en déchargeant le fournisseur de données de l’effort de répondre à une partie des abonnements; en échange, nous tirons profit de techniques de re-écriture de requêtes à l’aide de vues afin de propager les données de ces abonnements à partir d’autres abonnements. Notre contribution principale est un nouvel algorithme qui organise les vues dans un réseau de dissémination d’information sur plusieurs niveaux, qui s’appuie sur la re-écriture à base de vues ainsi que sur des techniques puissantes de programmation linéaire afin de passer à l’échelle pour de grands nombres de vues, respecter les contraintes de capacité du système, et minimiser les délais de propagation des information. L’efficacité et la performance de notre algorithme est confirmée par notre évaluation expérimentale, qui inclut l’étude d’un déploiement réel dans un réseau WAN. ∗This work has started while the first author was in Inria Saclay, France. It has been partially funded by Agence Nationale de la Recherche, decision ANR-08-DEFIS-004. 1 ha l-0 08 67 84 7, v er si on 1 30 S ep 2 01 3 Author manuscript, published in "Bases de Données Avancées (2013)"